入門マルチモーダルＲＡＧ　図表を読み解くＡＩアプリケーションの実装

出版社からのコメント

「図表を読めるＡＩ」を作る近年、テキストだけでなく、図や表やグラフといった画像を含む資料からも情報を検索・活用できる「マルチモーダルＲＡＧ（Ｒｅｔｒｉｅｖａｌ−Ａｕｇｍｅｎｔｅｄ　Ｇｅｎｅｒａｔｉｏｎ）」の重要性が高まっています。従来のテキストベースＲＡＧが扱える情報はテキストデータに限定されており、実務現場で扱う文書−−技術報告書、研究論文、プレゼン資料−−のように、図表を多く含むデータには十分対応できませんでした。本書は、この課題を踏まえ、実務文書にも対応できるマルチモーダルＲＡＧについて体系的に解説します。本書では、自分の手でマルチモーダルＲＡＧを構築できるようになることを目指します。全体を通して、手を動かしながら理解できるよう、再現可能なコード例を多数提示しています。＜本書の構成＞・第１章基本的な構成のＲＡＧ（データベース・検索器・生成器）をＰｙｔｈｏｎで実装し、ＲＡＧの仕組みを理解します。・第２章画像をテキストに変換する方式と、画像とテキストを同一のベクトル空間に埋め込む方式という、２種類のマルチモーダルＲＡＧ　の実装方法を紹介します。・第３章Ｅｍｂｅｄ−４やＣＬＩＰ−ＲＡＧ、反復型ＲＡＧといった最新手法を概観し、マルチモーダル知覚統合の潮流を整理します。・第４章特定領域の画像（医療画像、技術図面など）に特化したマルチモーダル　ＲＡＧ　の構築を目指し、ｐｒｏｊｅｃｔｏｒやＬＬＭ、デュアルエンコーダのファインチューニング方法を実例とともに解説します。